Ông tên thật là Lê Hữu Vỵ, sinh ngày 31 tháng 12 năm 1922 tại thôn Đại Cầu, xã Tiên Tân, huyện Duy Tiên (nay thuộc thành phố Phủ Lý), tỉnh Hà Nam. Xuất thân trong một gia đình nho giáo, năm 1937, ông thoát ly gia đình, hoạt động trong phong trào Đoàn Thanh niên Dân chủ Đông Dương. Sau khi chính phủ Mặt trận Bình dân (Pháp) đổ, chính quyền thực dân đàn áp các phong trào đòi dân chủ tại Đông Dương, ông phải rút vào bí mật, hoạt động gây cơ sở cho Xứ ủy Bắc Kỳ tại Đồng bằng sông Hồng. Năm 1940, ông bị chính quyền thực dân Pháp bắt và kết án tù vì tội chống lại Nhà nước bảo hộ, giam ở Hỏa Lò, sau đó bị đày lên nhà đày Sơn La.[2]

Thời gian ở Sơn La, ông được các cán bộ Cộng sản đang bị đày tại đây giáo dục văn hóa và được kết nạp vào Đảng Cộng sản Đông Dương năm 1943. Đầu năm 1945, sau khi ra tù, ông được Xứ ủy Bắc Kỳ bố trí làm "công tác đội", thực chất là việc xây dựng cơ sở và tập hợp lực lượng để chuẩn bị tổng khởi nghĩa.[2]

Khi Cách mạng tháng 8 năm 1945 nổ ra, ông tham gia chỉ đạo cướp chính quyền ở Phúc Yên, Bắc Ninh. Năm 1946, Toàn quốc kháng chiến, ông được phân công giữ chức Bí thư Tỉnh ủy Nam Định, Ninh Bình. Tháng 9 năm 1947, Khu 14, gồm các tỉnh Lai Châu, Sơn La, một phần Hòa Bình và Phú Thọ, được thành lập, ông được chỉ định làm Bí thư Khu ủy. Đến tháng 2 năm 1948, Khu 14 hợp nhất với Khu 10 thành Liên khu 10, ông được điều sang công tác tại Ban Dân vận Trung ương.[2]